In classic reinforcement learning algorithms, agents make decisions at discrete and fixed time intervals. The physical duration between one decision and the next becomes a critical hyperparameter. When this duration is too short, the agent needs to make many decisions to achieve its goal, aggravating the problem's difficulty. But when this duration is too long, the agent becomes incapable of controlling the system. Physical systems, however, do not need a constant control frequency. For learning agents, it is desirable to operate with low frequency when possible and high frequency when necessary. We propose a framework called Continuous-Time Continuous-Options (CTCO), where the agent chooses options as sub-policies of variable durations. Such options are time-continuous and can interact with the system at any desired frequency providing a smooth change of actions. The empirical analysis shows that our algorithm is competitive w.r.t. other time-abstraction techniques, such as classic option learning and action repetition, and practically overcomes the difficult choice of the decision frequency.
translated by 谷歌翻译
政策梯度定理（Sutton等，2000）规定了目标政策下的累积折扣国家分配以近似梯度。实际上，基于该定理的大多数算法都打破了这一假设，引入了分布转移，该分配转移可能导致逆转溶液的收敛性。在本文中，我们提出了一种新的方法，可以从开始状态重建政策梯度，而无需采取特定的采样策略。可以根据梯度评论家来简化此形式的策略梯度计算，由于梯度的新钟声方程式，可以递归估算。通过使用来自差异数据流的梯度评论家的时间差异更新，我们开发了第一个以无模型方式避开分布变化问题的估计器。我们证明，在某些可实现的条件下，无论采样策略如何，我们的估计器都是公正的。我们从经验上表明，我们的技术在存在非政策样品的情况下实现了卓越的偏见变化权衡和性能。
translated by 谷歌翻译
Softmax政策的政策梯度（PG）估计与子最佳饱和初始化无效，当密度集中在次良动作时发生。从策略初始化或策略已经收敛后发生的环境的突然变化可能会出现次优策略饱和度，并且SoftMax PG估计器需要大量更新以恢复有效的策略。这种严重问题导致高样本低效率和对新情况的适应性差。为缓解此问题，我们提出了一种新的政策梯度估计，用于软MAX策略，该估计在批评中利用批评中的偏差和奖励信号中存在的噪声来逃避策略参数空间的饱和区域。我们对匪徒和古典MDP基准测试任务进行了分析和实验，表明我们的估算变得更加坚固，以便对政策饱和度更加强大。
translated by 谷歌翻译
尽管政策梯度方法的普及日益越来越大，但它们尚未广泛用于样品稀缺应用，例如机器人。通过充分利用可用信息，可以提高样本效率。作为强化学习中的关键部件，奖励功能通常仔细设计以引导代理商。因此，奖励功能通常是已知的，允许访问不仅可以访问标量奖励信号，而且允许奖励梯度。为了从奖励梯度中受益，之前的作品需要了解环境动态，这很难获得。在这项工作中，我们开发\ Textit {奖励政策梯度}估计器，这是一种新的方法，可以在不学习模型的情况下整合奖励梯度。绕过模型动态允许我们的估算器实现更好的偏差差异，这导致更高的样本效率，如经验分析所示。我们的方法还提高了在不同的Mujoco控制任务上的近端策略优化的性能。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
本文介绍了可不可避免的义逻辑的扩展，以解决务实的奇数问题。该逻辑应用三个一般原则：（1）必须在CTD推理的一般逻辑处理中解决务实的奇数问题；（2）必须采用非单调方法来处理CTD推理；（3）CTD推理的逻辑模型必须在计算上是可行的，并且如果可能的话，必须有效。提议的不理deontic逻辑的扩展详细阐述了政府机构和Rotolo（2019）提出的模型的初步版本。先前的解决方案是基于逻辑（建设性，自上而下）证明理论的特定特征。但是，该方法引入了一定程度的非确定性。为了避免问题，我们提供逻辑的自下而上表征。新的特征为有效实施逻辑提供了见解，并使我们能够建立问题的计算复杂性。
translated by 谷歌翻译
我们提出了X-NERF，这是一种基于神经辐射场公式，从具有不同光谱敏感性的相机捕获的跨光谱场景表示的新颖方法，给出了从具有不同光谱灵敏度的相机捕获的图像。X-NERF在训练过程中优化了整个光谱的相机姿势，并利用归一化的跨设备坐标（NXDC）从任意观点呈现不同模态的图像，这些观点是对齐的，并以相同的分辨率对齐。在16个前面的场景上进行的实验，具有颜色，多光谱和红外图像，证实了X-NERF在建模跨光谱场景表示方面的有效性。
translated by 谷歌翻译
我们的世界越来越被具有不同自治程度的智能机器人所笼罩。为了将自己无缝整合到我们的社会中，即使在没有人类的直接投入的情况下，这些机器也应具有导航日常工作复杂性的能力。换句话说，我们希望这些机器人了解其合作伙伴的意图，以预测帮助他们的最佳方法。在本文中，我们介绍了Casper（社会感知和在机器人中参与的认知体系结构）：一种象征性认知体系结构，使用定性的空间推理来预测另一个代理的追求目标并计算最佳的协作行为。这是通过平行过程的集合来执行的，该过程对低级动作识别和高级目标理解进行建模，这两者都经过正式验证。我们已经在模拟的厨房环境中测试了这种体系结构，我们收集的结果表明，机器人能够认识到一个持续的目标并适当合作实现其成就。这证明了对定性空间关系的新使用，该空间关系应用于人类机器人相互作用领域的意图阅读问题。
translated by 谷歌翻译
本文提出了将语音分离和增强（SSE）集成到ESPNET工具包中的最新进展。与以前的ESPNET-SE工作相比，已经添加了许多功能，包括最近的最新语音增强模型，并具有各自的培训和评估食谱。重要的是，已经设计了一个新界面，以灵活地将语音增强前端与其他任务相结合，包括自动语音识别（ASR），语音翻译（ST）和口语理解（SLU）。为了展示这种集成，我们在精心设计的合成数据集上进行了实验，用于嘈杂的多通道ST和SLU任务，可以用作未来研究的基准语料库。除了这些新任务外，我们还使用Chime-4和WSJ0-2MIX进行基准多链和单渠道SE方法。结果表明，即使在ASR以外的任务，尤其是在多频道方案中，SE前端与后端任务的集成也是一个有希望的研究方向。该代码可在https://github.com/espnet/espnet上在线获得。 HuggingFace上发布了这项工作的另一个贡献的多通道ST和SLU数据集。
translated by 谷歌翻译
培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。
translated by 谷歌翻译